国产一区二区内射最近更新,狠狠97人人婷婷五月,爽爽精品dvd蜜桃成熟时电影院,少妇放荡的呻吟干柴烈火动漫

歡迎來訪江蘇帕卓管路系統(tǒng)股份有限公司 官方網(wǎng)站!

新聞中心

AI的盡頭是光伏、儲能、數(shù)據(jù)中心?液冷是必然趨勢?

帕卓管路 2024-03-12 08:56:05 280次 返回

剛剛過去的周末,光伏、儲能行業(yè)迎來重磅利好消息:摩根士丹利調高寧德時代目標價,在黃仁勛、奧特曼兩位大佬加持下“儲能與AI”的故事發(fā)酵。

640.jpg

圖片來源網(wǎng)絡

摩根士丹利調高寧德時代目標價

3月10日,摩根士丹利發(fā)布報告,將中國電池巨頭寧德時代(CATL)的評級上調至“超配”,并設定目標價為210元人民幣。在報告中,摩根士丹利分析師指出,寧德時代作為全球領先的電池制造商,受益于電動汽車市場的快速增長和電池需求的攀升。

摩根士丹利發(fā)布報告指出,隨著價格戰(zhàn)接近尾聲,寧德時代準備通過新一代大規(guī)模生產(chǎn)線提高成本效率,并擴大在凈資產(chǎn)收益率方面的優(yōu)勢,看到寧德時代在基本面上的多個拐點,上調公司評級至超配,并選為行業(yè)首選。

另外,據(jù)央視網(wǎng)10日報道,寧德時代董事長曾毓群在采訪時談到了近期多家歐美車企削減或推遲電動化的話題,“歐美車企沒有回歸燃油車,也沒有停止(電動汽車),可能是因為不賺錢,所以往后延遲一陣?!?/p>

從儲能業(yè)務來看,寧德時代是當之無愧的王者。國海證券預計,該公司2023年動力和儲能電池的出貨量達380GWh以上,同比增長31%以上。單2023年四季度看,公司的出貨量達110GWh以上,同比增長14%以上,環(huán)比增長10%以上。按四季度中值計算,假設公司的電池業(yè)務利潤貢獻在90%,則測算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當。

黃仁勛、奧特曼:AI的盡頭是光伏和儲能

消息面上,在算力爆炒之后,“儲能+AI”的故事在剛剛過去的這個周末發(fā)酵了。據(jù)報道,英偉達CEO黃仁勛在一次公開演講中指出,AI未來發(fā)展與狀和儲能緊密相連。黃仁勛在演講中明確表示:“AI的盡頭是光伏和儲能!我們不能只想著算力,如果只考慮計算機,我們需要燒掉14個地球的能源?!?/p>

早在2月27日,就有人在社交視頻上講“儲能與AI”的故事,引用的也是所謂“黃仁勛的演講”。與此同時,OpenAI的創(chuàng)始人山姆·奧特曼也提出了類似的看法。奧特曼表示,“未來AI的技術取決于能源,我們需要更多的光伏和儲能。”

ChatGPT日耗電超50萬度

人工智能技術的快速發(fā)展,帶來了巨大的算力和能源消耗。據(jù)《紐約客》雜志報道,ChatGPT日耗電超50萬度,相當于1.7萬個美國家庭,以響應用戶的約2億個請求。

*近,在博世互聯(lián)2024大會上,馬斯克遠程連線接受了博世CEO和董事長的采訪。馬斯克提到人工智能的發(fā)展速度前所未見,似乎每過6個月的時間,算力就會增加10倍,遠遠超出了摩爾定律每18個月翻番的速度。他預計,兩年內(nèi)年將由“缺硅”變?yōu)椤叭彪姟?,而這可能阻礙AI的發(fā)展。

“目前算力增長已經(jīng)面臨瓶頸,很明顯,接下來變壓器會陷入短缺,緊接著就是電力,等到2025年,我們將沒有足夠的電力來運行所有的芯片?!瘪R斯克稱。

事實上,馬斯克對電力短缺的擔憂也不是一天兩天了,此前曾多次公開強調解決日益增長的電力需求的緊迫性。他認為,需要加快項目進度,以跟上不斷增長的電力需求。

我國臺灣地區(qū)4月電價調漲箭在弦上,“電價工作小組”3月12日起將連開4場討論會。其中民生用電擬分三級距調漲,*小漲幅700度(或500度)以下約漲5%,701~1000度約漲7%,1001度以上漲約10%;產(chǎn)業(yè)用電依產(chǎn)業(yè)別分三級距調漲,但連二年用電成長、用電50億度以上“超級大戶”以公司別來看,調幅*高上看近3成,臺積電首當其沖;但用電衰退面板、石化、鋼鐵,漲幅較小。4月電價方案平均漲幅在10~15%。

波士頓咨詢公司就曾分析稱,預計2030年左右,美國數(shù)據(jù)中心的電力消耗將較2022年增長三倍,相當于電力總需求的7.5%,會大幅提升社會用電量。

咨詢公司Grid Strategies也曾發(fā)布過一項研究,認為美國未來五年的年度電力需求增長大約在1.5%左右。而根據(jù)EIA的數(shù)據(jù),美國發(fā)電量近15年來才增加了不到3%。過慣了供需相對穩(wěn)定日子的美國供電體系,和面臨不少問題的電網(wǎng),能否應對驟然增長的需求,尚有待觀察。

從儲能業(yè)務來看,寧德時代是當之無愧的王者。國海證券預計,該公司2023年動力和儲能電池的出貨量達380GWh以上,同比增長31%以上。單2023年四季度看,公司的出貨量達110GWh以上,同比增長14%以上,環(huán)比增長10%以上。按四季度中值計算,假設公司的電池業(yè)務利潤貢獻在90%,則測算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當。

AI大模型下的液冷發(fā)展趨勢

摘要

液冷是一種用液體來冷卻電子設備的散熱技術,能夠顯著提高數(shù)據(jù)中心散熱效率。液冷技術根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷,其中間接液冷主要包括冷板式液冷,直接液冷包括浸沒式液冷和噴淋式液冷。冷板式液冷和浸沒式液冷是目前主流的液冷形式,冷板式液冷應用*為廣泛,在改造成本、可維護性、兼容性方面具備優(yōu)勢;浸沒式液冷冷卻效果*好,節(jié)能性上優(yōu)勢明顯,但可維護性和兼容性一般,多用于高功率密度機柜。

控制當前數(shù)據(jù)中心溫控方式仍以風冷為主,液冷方案中冷板式技術更為普及。2022年數(shù)據(jù)中心液冷技術的滲透率大概在5%~8%左右,風冷仍然占據(jù)90%以上的市場份額。按照服務器出貨量口徑統(tǒng)計,2023H1我國冷板式液冷服務器比例為90%左右,浸沒式液冷滲透率為10%。

數(shù)據(jù)中心算力與能耗水漲船高,逐漸超出風冷散熱閾值,液冷散熱已是趨勢所向。Chatgpt為代表的生成式人工智能模型拉升算力需求,百億參數(shù)成為模型涌現(xiàn)門檻,算力成為大模型性能提升的關鍵。大模型帶來大算力,大算力帶來高功耗,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片TDP更是達到700W。這也導致單服務器和單機柜功率均顯著上升,已經(jīng)逐漸超出風冷散熱的覆蓋范圍,液冷散熱已成為必然趨勢。

PUE限制是現(xiàn)階段液冷技術發(fā)展的核心驅動力。PUE代表數(shù)據(jù)中心能源使用效率,等于數(shù)據(jù)中心總耗電/IT設備耗電,比值越接近于1,說明能源越接近全部都用于IT設備負載上。我國數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。近幾年,國家與地方出臺了一系列針對新建與老舊數(shù)據(jù)中心PUE的管控計劃,明確要求東、西部樞紐節(jié)點數(shù)據(jù)中心PUE分別控制在1.25、1.2以下。而傳統(tǒng)風冷方案的數(shù)據(jù)中心PUE一般在1.5左右,高于政策要求的范圍;液冷方案能夠有效降低冷卻系統(tǒng)的能耗水平,從而將數(shù)據(jù)中心整體PUE降低到1.05-1.2左右,滿足相關的政策要求。

數(shù)據(jù)中心TCO是液冷技術規(guī)模應用的關鍵因素。數(shù)據(jù)中心總成本(TCO)包括建設成本(Capex)和運營成本(Opex)。根據(jù)奕信通科技在2022年數(shù)據(jù)中心標準峰會發(fā)布的報告進行測算,以華東地區(qū)數(shù)據(jù)中心建設情況為例,現(xiàn)階段冷板式液冷方案的TCO甚至Capex已經(jīng)低于風冷,浸沒式液冷方案的TCO也將在運行五年左右之后出現(xiàn)低于風冷方案的拐點。但是該測算結果依賴于一定的前提條件:如機柜功率達到30KW、不計算服務器折舊和服務器運營支出、水電費與房租等運營成本按華東地區(qū)情況計價、采用集中式大型IDC機房且IT設備在12個月線性上架后實現(xiàn)80%負載率、外界氣溫對制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場景下液冷技術的經(jīng)濟性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長服務器使用壽命,未來液冷數(shù)據(jù)中心TCO的優(yōu)勢將更加明顯。

控制數(shù)據(jù)中心液冷未來市場規(guī)模估算:到2025年,中國數(shù)據(jù)中心液冷市場規(guī)模將達到359億元左右,CAGR達到72.4%;AI數(shù)據(jù)中心液冷市場規(guī)模將達到280億元左右,CAGR達到71.4%;通用數(shù)據(jù)中心液冷市場規(guī)模將達到79億元,CAGR達到76.2%。

1液冷技術詳解

液冷是一種用液體來冷卻電子設備的散熱技術。液冷的工作原理是以液體作為冷媒,利用液體的高熱容和高熱傳導性能,通過液體流動將IT設備的內(nèi)部元器件產(chǎn)生的熱量傳遞到設備外,使IT設備的發(fā)熱器件得到冷卻,以保證IT設備在安全溫度范圍內(nèi)運行(本文主要討論數(shù)據(jù)中心應用場景下的液冷技術)。根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷。間接液冷是指服務器熱源與冷卻液之間沒有直接接觸的換熱過程,以冷板式液冷技術為主。直接液冷是指將發(fā)熱部件與冷卻液直接接觸的冷卻方式,包括浸沒式和噴淋式液冷技術。其中又可以根據(jù)冷卻液是否會發(fā)生液態(tài)到氣態(tài)的轉變,將浸沒式液冷分為單相浸沒式液冷和雙相浸沒式液冷。當前,冷板式液冷和浸沒式液冷為液冷的主要形式。

6402.png

液冷系統(tǒng)通用架構包括室外側和室內(nèi)側兩部分:室外側包含冷卻塔、一次側管網(wǎng)、一次側冷卻液;室內(nèi)側包含 CDU、液冷機柜、ICT 設備、二次側管網(wǎng)和二次側冷卻液。室外側為外部冷源,通常為室外的冷水機組、冷卻塔或干冷器,熱量轉移主要通過水溫的升降實現(xiàn);室內(nèi)側包括供液環(huán)路和服務器內(nèi)部流道,主要通過冷卻液溫度的升降實現(xiàn)熱量轉移;兩個部分通過CDU中的板式換熱器發(fā)生間壁式換熱。

6403.png

1.1 冷板式液冷

冷板式液冷屬于間接液冷,冷卻液不與服務器芯片直接接觸。冷板式液冷也被稱作芯片級液冷,技術原理是通過在服務器組件(如 CPU、GPU等高發(fā)熱部件)上安裝液冷板(通常為銅鋁等導熱金屬構成的封閉腔體),服務器組件通過導熱部件將熱量傳導到液冷板上,然后利用液冷板內(nèi)部的液體循環(huán)將熱量傳遞到遠離服務器的散熱單元;同時一般會增設風冷單元為低發(fā)熱元件進行散熱。

冷板式液冷系統(tǒng)主要由冷卻塔、CDU、一次側 & 二次側液冷管路、冷卻介質、液冷機柜組成;其中液冷機柜內(nèi)包含液冷板、設備內(nèi)液冷管路、流體連接器、分液器等。

6404.png

1.2 浸沒式液冷

浸沒式液冷屬于直接液冷,將發(fā)熱器件浸沒在冷卻液中進行熱交換,依靠冷卻液流動循環(huán)帶走熱量。

浸沒式液冷系統(tǒng)室外側包含冷卻塔、一次側管網(wǎng)、一次側冷卻液;室內(nèi)側包含 CDU、浸沒腔體、IT 設備、二次側管網(wǎng)和二次側冷卻液。使用過程中 IT設備完全浸沒在二次側冷卻液中,因此二次側循環(huán)冷卻液需要采用不導電液體,如礦物油、硅油、氟化液等。

浸沒式液冷根據(jù)冷卻液換熱過程中是否發(fā)生相變,可以進一步分為單相浸沒式液冷和雙相浸沒式液冷技術。

1.2.1 單相浸沒式液冷

在單相浸沒式液冷中,冷卻液在熱量傳遞過程中僅發(fā)生溫度變化,而不存在相態(tài)轉變。單相浸沒式液冷的技術原理為:CDU循環(huán)泵驅動二次側低溫冷卻液由浸沒腔體底部進入,流經(jīng)豎插在浸沒腔體中的IT設備時帶走發(fā)熱器件熱量;吸收熱量升溫后的二次側冷卻液由浸沒腔體頂部出口流回CDU;通過CDU內(nèi)部的板式換熱器將吸收的熱量傳遞給一次側冷卻液;吸熱升溫后的一次側冷卻液通過外部冷卻裝置(如冷卻塔)將熱量排放到大氣環(huán)境中,完成整個冷卻過程。

6405.png

1.2.2 雙相浸沒式液冷

雙相浸沒式液冷的不同之處在于冷卻液會發(fā)生相態(tài)轉變。雙相浸沒式液冷的傳熱路徑與單相浸沒液冷基本一致,主要差異在于二次側冷卻液僅在浸沒腔體內(nèi)部循環(huán)區(qū)域,浸沒腔體內(nèi)頂部為氣態(tài)區(qū)、底部為液態(tài)區(qū);IT設備完全浸沒在低沸點的液態(tài)冷卻液中,液態(tài)冷卻液吸收設備熱量后發(fā)生沸騰,汽化產(chǎn)生的高溫氣態(tài)冷卻液因密度較小,會逐漸匯聚到浸沒腔體頂部,與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻液,隨后在重力作用下回流至腔體底部,實現(xiàn)對IT設備的散熱。

6406.png

1.3  淋式液冷

噴淋式液冷屬于直接液冷,將冷卻液精準噴灑于電子設備器件進行散熱。冷卻液借助特制的噴淋板精準噴灑至發(fā)熱器件或與之相連接的固體導熱材料上,并與之進行熱交換,吸熱后的冷卻液換熱后將通過回液管、回液箱等集液裝置進行收集并通過循環(huán)泵輸送至CDU進行下一次制冷循環(huán)。

噴淋式液冷系統(tǒng)主要由冷卻塔、CDU、一次側 & 二次側液冷管路、冷卻介質和噴淋式液冷機柜組成;其中噴淋式液冷機柜通常包含管路系統(tǒng)、布液系統(tǒng)、噴淋模塊、回液系統(tǒng)等。

6407.png

1.4 不同液冷方案的比較

6408.png

1.4.1 冷板式液冷目前應用*為廣泛,在改造成本、可維護性、兼容性方面具備優(yōu)勢

冷板式液冷的優(yōu)勢主要在于:

1)兼容性:冷板式液冷的改造成本相對較低,不需要對數(shù)據(jù)中心現(xiàn)有的機房及機柜進行大規(guī)模改造,其適用的硬盤、光模塊等服務器部件與風冷方案一致,運維模式、機房承重與風冷場景也基本一致;

2)散熱效果與節(jié)能性:冷卻效果和節(jié)能性要遠好于風冷,PUE可以達到1.2左右;(據(jù)《綠色高能效數(shù)據(jù)中心散熱冷卻技術研究現(xiàn)狀及發(fā)展趨勢》數(shù)據(jù)顯示,風冷散熱下數(shù)據(jù)中心的 PUE 值通常在1.5左右)

3)可靠性:液體與設備不直接接觸,可靠性更高;

4)維護性:易開展維護性設計,可實現(xiàn)在線維護方案;

5)噪聲:風機轉速大幅降低,噪聲值可至 70dB 左右。

冷板式液冷的局限性主要在于:

1)液體沒有與電子器件直接接觸,而是通過金屬管壁進行熱交換,與直接接觸的浸沒式液冷相比冷卻與節(jié)能效果欠佳;

2)IT設備、冷卻液、管路、供配電等不統(tǒng)一,服務器多與機柜深耦合;

3)管路接頭、密封件較多,漏液維護復雜。

1.4.2  浸沒式液冷的散熱效果和節(jié)能性優(yōu)勢明顯,但兼容性和維護性一般,多用于高功率密度機柜

浸沒式液冷的優(yōu)勢主要在于:

1)散熱效果與節(jié)能性:與冷板式液冷相比,浸沒式液冷中采用了直接接觸式的熱交換,傳熱系數(shù)高,冷卻效果更好,節(jié)能性更強(雙相浸沒式液冷方案的PUE在1.04-1.07左右,單相浸沒式為1.09左右)

2)緊湊:支持高密機柜,單柜散熱量高達160kW;同時,機柜間無需隔開距離,機房不需要空調和冷凍機組、無需架空地板、無需安裝冷熱通道封閉設施;

3)可靠性:設備完全浸沒在液體中,排除了溫度、風機振動、灰塵等帶來的可靠性問題;

4)噪聲:100%液體冷卻,無需配置風扇,實現(xiàn)**“靜音”機房。

浸沒式液冷的局限性主要在于:

1)兼容性較差:IT設備需要定制,光模塊、硬盤等部件兼容性仍待驗證;此外,雙相浸沒式液冷方案適配的服務器需改為刀片式,其專用機柜對于管路要求高,控制復雜;

2)維護復雜:浸沒式液冷設備維護時需要打開Tank上蓋,并配備可移動機械吊臂或專業(yè)維護車實現(xiàn)設備的豎直插拔,維護復雜度高,耗時長;且開蓋維護過程有一定的冷卻液揮發(fā)問題,增加運行成本;

3)承重要求高:因浸沒式液冷系統(tǒng)Tank內(nèi)充滿冷卻液,整柜重量大幅增加,對機房有特殊承重要求,普遍要求浸沒式液冷機房地板承重應大于1500kg/m2;

4)國產(chǎn)冷媒待驗證:單相浸沒式液冷方案所使用的國產(chǎn)冷媒仍待驗證。

浸沒式液冷比較適用于對功率密度、節(jié)能性要求較高的大型數(shù)據(jù)中心,特別是地理位置較為特殊、空間有限的數(shù)據(jù)中心。

1.4.3 噴淋式液冷在安裝便利性、空間利用等方面有優(yōu)勢,但是現(xiàn)階段落地應用相對較少

噴淋式液冷不需要對數(shù)據(jù)中心基礎設施進行大幅改動,安裝便捷,空間利用率高,且噴淋方式能夠節(jié)省冷卻液,其不足在于服務器整體密封于氣相柜中,排液、補液,維護時會破壞服務器原有密封結構。目前噴淋式液冷技術的應用場景有限,只有少量數(shù)據(jù)中心采用了噴淋式液冷技術。

2 數(shù)據(jù)中心液冷行業(yè)基本情況與競爭格局

2.1 基本情況:數(shù)據(jù)中心液冷行業(yè)如日方升,液冷技術有望加速導入

數(shù)據(jù)中心溫控方式仍以風冷為主,液冷技術有望加速導入。目前數(shù)據(jù)中心的散熱方式仍然以風冷為主,在算力設備以及數(shù)據(jù)中心機房的高熱密度趨勢和高能效散熱要求的雙重推動下,預計未來液冷將成為主流的數(shù)據(jù)中心溫控方式。根據(jù)產(chǎn)業(yè)調研與曙光數(shù)創(chuàng)的信息,2022年數(shù)據(jù)中心液冷技術的滲透率大概在5%~8%左右,風冷仍然占據(jù)90%以上的市場份額;預計2025-2028年時液冷技術的滲透率有望達到30%。

液冷方式以冷板式為主,浸沒式技術有望加速推廣。當前主流的液冷技術包括冷板式液冷和浸沒式液冷,由于冷板式液冷對于數(shù)據(jù)中心的改造難度較低,改造所需成本也較為可控,所以目前冷板式液冷的市場應用相對更加普及。根據(jù)IDC《中國半年度液冷服務器市場(2023上半年)跟蹤》報告,按照服務器出貨量口徑統(tǒng)計,2023H1我國冷板式液冷服務器比例達到90%左右,浸沒式液冷滲透率僅為10%。但隨著國家對于數(shù)據(jù)中心PUE的政策要求的愈發(fā)嚴格,機柜功率密度的持續(xù)抬升以及浸沒式液冷技術的逐漸成熟,浸沒式液冷方案有望進入加速推廣期。

2.2 產(chǎn)業(yè)鏈:涉及環(huán)節(jié)眾多,存在較高進入壁壘

液冷產(chǎn)業(yè)鏈涉及環(huán)節(jié)眾多,包括上游的液冷設備及產(chǎn)品零部件提供商、中游的液冷服務器及液冷基礎設施提供商與下游的數(shù)據(jù)中心使用者。上游主要為產(chǎn)品零部件及液冷設備,包括快速接頭、CDU、電磁閥、浸沒液冷TANK、manifold、冷卻液等產(chǎn)品,代表性廠商有英維克、3M、高瀾股份、云酷、奕信通、廣東合一、綠色云圖、巨化股份等。中游主要為液冷服務器、芯片廠商以及液冷集成設施、模塊與機柜等,代表性廠商有華為、中興、浪潮、曙光、新華三、聯(lián)想、超聚變、英特爾等。下游主要為數(shù)據(jù)中心的使用者,包括三家電信運營商,百度、阿里巴巴、騰訊、京東等互聯(lián)網(wǎng)企業(yè),數(shù)據(jù)港、光環(huán)新網(wǎng)等第三方IDC服務商以及政府、科研機構、金融、能源、交通等其他信息化需求客戶。

6409.png

產(chǎn)業(yè)鏈存在較高的技術、人才、客戶認證壁壘。

1)技術壁壘:液冷數(shù)據(jù)中心基礎設施產(chǎn)品的研發(fā)和制造涉及冷卻技術、制冷系統(tǒng)設計及仿真技術、溫濕度解耦控制算法等多項技術領域,要求企業(yè)在液冷核心技術進行多年研究積累,深入掌握液冷技術的相關原理和應用。此外,液冷數(shù)據(jù)中心基礎設施產(chǎn)品工藝流程復雜,需要掌握生產(chǎn)制造流程中的核心工藝,同時需具備成熟的控制體系,對產(chǎn)品質量進行把控,保證產(chǎn)品的合格率,因此數(shù)據(jù)中心液冷行業(yè)具有較高的技術壁壘。

2)人才壁壘:液冷數(shù)據(jù)中心基礎設施領域屬于新興技術密集型產(chǎn)業(yè),產(chǎn)品性能涉及材料化學、熱力學、電子學、計算機科學等多學科,并且數(shù)據(jù)中心的制冷系統(tǒng)存在定制化特征,因此對研發(fā)技術人員的技術研發(fā)能力和行業(yè)經(jīng)驗要求較高。目前行業(yè)發(fā)展歷程較短,技術與產(chǎn)品仍處于驗證階段,高端技術人才相對稀缺,且高端人才主要集中規(guī)模較大的企業(yè)以及***研究機構中,因此新進企業(yè)難以在短期內(nèi)培養(yǎng)出一批具備技術開發(fā)實力并擁有豐富實踐項目經(jīng)驗的專業(yè)技術隊伍,由此數(shù)據(jù)中心液冷行業(yè)存在較高的專業(yè)人才壁壘。

3)客戶認證壁壘:出于安全性、穩(wěn)定性等考慮,企業(yè)客戶在選擇液冷數(shù)據(jù)中心基礎設施供應商時通常需要進行嚴格的資質驗證。尤其是金融、醫(yī)藥等機構出于數(shù)據(jù)安全、保密等要求,對液冷數(shù)據(jù)中心基礎設施解決方案供應商挑選非常嚴格,需要對企業(yè)產(chǎn)品質量水平、項目經(jīng)驗、技術研發(fā)能力進行綜合考察,因此認證過程復雜且耗時較長。液冷數(shù)據(jù)中心基礎設施廠商應具備較強的產(chǎn)品研發(fā)能力、穩(wěn)定的產(chǎn)品供應以及售后服務經(jīng)驗,同時具備豐富的技術儲備,才能滿足不同客戶的需求。另一方面,由于更換液冷數(shù)據(jù)中心基礎設施供應商會對產(chǎn)品的穩(wěn)定性形成風險,客戶在與液冷數(shù)據(jù)中心基礎設施供應商建立生產(chǎn)配套關系后,傾向于維持與現(xiàn)有技術供應商的合作,不會輕易更換主要供應商,因此先進入者一旦建立起自身客戶資源、形成先發(fā)優(yōu)勢,新進入企業(yè)將很難在短期內(nèi)爭奪市場份額、改變行業(yè)現(xiàn)有格局,因此數(shù)據(jù)中心液冷行業(yè)具有較高的客戶認證門檻。

2.3 競爭格局:行業(yè)仍處于技術驗證階段,市場格局尚不明確

目前液冷行業(yè)仍處于技術驗證階段,技術路線、產(chǎn)品結構、行業(yè)標準等還無定數(shù),國外廠商難以進入中國市場,市場競爭格局尚不明確。目前市場中主要廠商在液冷技術和產(chǎn)品方面還處于實驗研究或初步應用階段,產(chǎn)品結構與行業(yè)標準尚在演進,市場內(nèi)還未形成具備較強核心競爭力的龍頭廠商,市場競爭格局尚未穩(wěn)定。此外,由于中國對數(shù)據(jù)安全的保護,在數(shù)據(jù)中心基礎設施的供應方面存在一定的地域壁壘,因此,目前國外廠商的產(chǎn)品的應用主要以其本國市場為主,進入中國市場較為困難。

3 數(shù)據(jù)中心液冷行業(yè)未來看點

3.1 推理/訓練服務器功耗有望達到10/2kW,液冷方案成為首選

生成式人工智能橫空出世,助推AI算力景氣度。受ChatGPT為代表的生成式人工智能大模型等新業(yè)態(tài)帶動,全新的AI應用場景有望在未來3-5年爆發(fā),百億參數(shù)是大模型具備涌現(xiàn)能力的門檻,千億參數(shù)的大模型將具備較好的涌現(xiàn)能力,AI算力成為大模型能力提升的核心驅動力?,F(xiàn)階段ChatGPT的總算力消耗達到了3640PF-day(每秒計算一千萬億次,需要計算3640天),需要7-8個投資規(guī)模30億元,算力500P的超大數(shù)據(jù)中心才能支撐其訓練過程,AI算力的重要性不言而喻。據(jù)IDC預測,全球AI算力市場規(guī)模將從2022年的195.0億美元增長到2026年的346.6億美元,其中生成式AI算力市場規(guī)模將從2022年的8.2億美元增長到2026年的109.9億美元,生成式AI算力占整體AI算力市場規(guī)模的比例將從4.2%增長到31.7%。

64010.png

大模型帶來高算力,高算力帶來高功耗。隨著AI計算、HPC計算等高性能計算需求不斷提升,CPU、GPU等計算芯片朝高算力、高集成方向演進,同時也導致單顆計算芯片功耗的大幅提升。對于CPU、GPU、ASIC等計算芯片而言,一方面可以通過增加計算核心數(shù)或提高單核心的主頻等方式來提高算力,此舉會顯著增加芯片的TDP(熱設計功耗);另一方面可以依靠先進制程技術來縮減單位算力對應的TDP(TDP/算力)。但是由于先進制程技術推進較慢等因素,單位算力對應TDP的下降幅度逐年減少,且遠不及算力的增長速度,這也導致了AI芯片功耗的大幅攀升。當前,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片的TDP更高達700W。

64011.png

計算芯片高功耗造成單服務器功耗顯著提高。單服務器功耗大部分源于計算芯片,服務器的核心組件包括CPU(中央處理器)、GPU(圖形處理器)、內(nèi)存芯片、SSD(固態(tài)硬盤)、網(wǎng)卡、PCB主板、RAID卡、HBA卡和電源等。CPU/GPU等計算芯片在通用服務器功耗中占比約為50%左右,而在AI服務器中,計算芯片的功耗占比高達80%以上。我們參考2022-2023年中國電信集采AI服務器配置與阿里云通用服務器配置進行功耗計算,服務器的功耗可以粗略估計為所有組件的功耗總和;選取超聚變FusionServer 2288 V7作為通用服務器的代表型號,超聚變FusionServer G5500 V6作為AI訓練服務器的代表型號,超聚變FusionServer G8600 V7作為AI推理服務器的代表型號。

通過我們的測算,通用服務器的總功耗為595W,AI訓練服務器的總功耗為7015W,AI推理服務器的總功耗為1615W。但是由于芯片超頻,額外的NVLINK模組等因素的存在,計算芯片的實際滿載功耗往往會高于官方標定的功耗。以上因素導致服務器的實際功耗可能會高于各組件的總功耗,具體的功耗還要以實際測試為準。根據(jù)超聚變服務器功耗計算器的測算,當前配置下的通用服務器的實際滿載功耗為700W左右,AI訓練服務器的實際滿載功耗為9800W左右,AI推理服務器的實際滿載功耗為2000W左右。(該過程僅為根據(jù)公開資料的估算,請以實際環(huán)境和負載下的測算為準)

64012.png

隨著服務器功耗提高,單機柜功率上升趨勢明顯。根據(jù)Uptime Institute相關報告數(shù)據(jù)顯示,2020年全球數(shù)據(jù)中心單機柜功率密度達到8.4kW/機柜,相比于2017年的5.6 kW/機柜有明顯提升;其中71%的數(shù)據(jù)中心平均功率密度低于10 kW/機柜,17%的數(shù)據(jù)中心平均功率密度高于20kW/機柜,預計未來數(shù)據(jù)中心功率密度將繼續(xù)上升,高密度數(shù)據(jù)中心占比將持續(xù)提高。

單機柜功率逐漸超出風冷散熱閾值,液冷散熱已是趨勢所向。風冷散熱一般適用于20Kw/機柜左右的功率密度以下,20Kw/機柜以上時液冷散熱優(yōu)勢明顯。通用服務器通常為2U,AI訓練服務器通常為6U,AI推理服務器通常為4U,標準機柜為42U;考慮到電源模塊、網(wǎng)絡模塊等因素,假設單機柜內(nèi)可以放置18個通用服務器或6個AI訓練服務器或9個AI推理服務器,根據(jù)之前對于服務器功耗的測算,則單機柜功率可以分別達到12.6kW(通用),58.8kW(AI訓練)和18kW(AI推理);考慮到機柜中其他模塊的散熱情況,實際單機柜功率會更高。對于通用服務器機柜,其單機柜功率已經(jīng)開始逐步靠近風冷散熱閾值,隨著通用服務器功耗的持續(xù)上升,液冷散熱的優(yōu)勢有望逐步顯現(xiàn);對于AI訓練與推理服務器機柜,其單機柜功率已經(jīng)逼近或者超出了風冷散熱所能覆蓋的功率密度范圍,液冷散熱已成大勢所趨。

3.2 PUE限制是現(xiàn)階段液冷技術發(fā)展的核心驅動力

數(shù)據(jù)中心耗電量不斷提升,綠色低碳成為必然趨勢。數(shù)據(jù)中心是能耗大戶,其包含大量的 IT 設備、供電與制冷設備。隨著數(shù)據(jù)中心算力與功耗的不斷增長,數(shù)據(jù)中心耗電量必將呈快速增長趨勢,綠色低碳必將并且已經(jīng)成為新型數(shù)據(jù)中心發(fā)展的重要基本原則之一。

我國數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。PUE 全稱 “Power Usage Effectiveness(能源使用效率)”,是數(shù)據(jù)中心消耗的一切能源與 IT 負載運用的能源之比,比值越接近于1,說明能源越接近全部都用于 IT 負載上。目前我國一半以上區(qū)域的數(shù)據(jù)中心 PUE 值都在 1.5 以上,即消耗在冷卻等非 IT 負載上的能源,占到了 IT 負載的一半以上。截至2021年全國數(shù)據(jù)中心平均PUE為1.49,還有華南、華東、西北和西南區(qū)域的數(shù)據(jù)中心PUE超過1.50,僅有東北、華北和華東區(qū)域的數(shù)據(jù)中心PUE在1.50以下。

64013.png

數(shù)據(jù)中心PUE管控日趨嚴格,針對老舊與新建數(shù)據(jù)中心均出臺強力約束措施。國家與地方出臺了一系列政策對數(shù)據(jù)中心能耗管理進行規(guī)范,不斷強調數(shù)據(jù)中心綠色高質量發(fā)展的重要性。2021年7月,工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動計劃(2021-2023年)》,要求到2021年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.35以下;到2023年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下,嚴寒和寒冷地區(qū)降低到1.25以下。2022年8月,工信部等七部門印發(fā)《信息通信行業(yè)綠色低碳發(fā)展行動計劃(2022-2025年)》,要求到2025年,全國新建大型、超大型數(shù)據(jù)中心電能利用效率(PUE)降到1.3以下,改建核心機房PUE降到1.5以下。除此之外,地方也出臺了一系列數(shù)據(jù)中心PUE要求相關的政策文件,其中北京針對數(shù)據(jù)中心的年能源消耗量設立了多層次PUE要求,年能源消耗量越高的數(shù)據(jù)中心PUE要求越高,此外還針對PUE超過1.4的數(shù)據(jù)中心實行電價加價措施。

640.png

64014.png


冷卻系統(tǒng)占據(jù)數(shù)據(jù)中心除IT設備負載外的能耗中的絕大部分,液冷技術能夠有效降低冷卻系統(tǒng)能耗,進而降低數(shù)據(jù)中心PUE,滿足監(jiān)管政策要求。PUE為1.92的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占總能耗的比例為38%左右,而PUE為1.3的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占比下降至18%,這意味著降低數(shù)據(jù)中心PUE的關鍵就在于降低冷卻系統(tǒng)的能耗表現(xiàn)。在同等的散熱水平下,傳統(tǒng)風冷方案的數(shù)據(jù)中心PUE一般為1.5左右,液冷方案的PUE值可降至1.05-1.2左右,能夠滿足當前政策對于數(shù)據(jù)中心PUE的要求。

3.3 數(shù)據(jù)中心TCO是液冷技術規(guī)模應用的關鍵因素

數(shù)據(jù)中心總成本(TCO)包括建設成本(Capex)和運營成本(Opex)。Capex一般指建設成本,包括土地獲取、勘察、規(guī)劃設計、設備購置、建設、安裝以及系統(tǒng)調測等費用;Opex一般指運營成本,主要包含電力、冷卻散熱等基礎設施成本、維護成本及管理成本。低成本是數(shù)據(jù)中心建立競爭優(yōu)勢的關鍵,也是降低投資回收期和持續(xù)發(fā)展的關鍵。

我們基于華東地區(qū)、2N UPS、30kW每機柜等常見數(shù)據(jù)中心配置進行風冷、冷板式液冷和浸沒式液冷等不同冷卻方式下的TCO測算(本文關于TCO的討論均不考慮服務器等IT設備成本)。市場普遍認為,風冷方案在Capex上更具經(jīng)濟性,液冷方案只在后續(xù)的Opex中有一定的優(yōu)勢。但是根據(jù)奕信通科技在2022年數(shù)據(jù)中心標準峰會(CDCC)發(fā)布的報告進行測算,現(xiàn)階段選擇冷板式液冷方案的Capex已經(jīng)低于風冷方案,即便是浸沒式液冷方案,也將在運行5年左右之后出現(xiàn)TCO低于風冷方案的拐點。(該過程僅為根據(jù)公開資料的估算,請以實際環(huán)境和負載下的測算為準)

但是該測算結果依賴于一定的前提條件:如機柜功率達到30KW、不計算服務器折舊和服務器運營支出、水電費與房租等運營成本按華東地區(qū)情況計價、采用集中式大型IDC機房且IT設備在12個月線性上架后實現(xiàn)80%負載率、外界氣溫對制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場景下液冷技術的經(jīng)濟性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長服務器使用壽命,未來液冷數(shù)據(jù)中心TCO的優(yōu)勢將更加明顯。

64015.png

機電部分包括制冷系統(tǒng)、配電系統(tǒng)、機柜系統(tǒng)、布線系統(tǒng)和監(jiān)控管理系統(tǒng)的購置和安裝成本,不考慮IT設備成本。

64016.png

液冷方案與風冷方案相比:1)其機電部分的Capex可以節(jié)省掉冷凍水機組/冷凍水精密空調,減少UPS和開關設備的容量等;2)需要增加密封機箱、冷卻液、冷板、熱交換器、防滴漏連接器和機架式分液器等液冷設備方面的成本;3)液冷方案下同樣外電體量的數(shù)據(jù)中心內(nèi)空間利用率更高,能承載更多IT設備,每ITkW(IT設備功率)下的分攤成本更低。根據(jù)假設條件測算,風冷、冷板式液冷、浸沒式液冷方案的機電部分Capex分別為16000-18000元/ITkW、15000-17000元/ITkW和23000-28000元/ITkW左右。冷板式液冷方案下分攤到每ITkW下的機電部分Capex與風冷方案基本持平甚至更低;浸沒式液冷方案所需增加的機電設備較多,分攤下來每ITkW的Capex相比于風冷仍有7000-10000元/ITkW左右的上升。

64017.png

土建部分主要包括建筑物成本。風冷和液冷方案的土建成本差異主要在于同樣體量的數(shù)據(jù)中心內(nèi),液冷方案下建筑所需的建筑面積更小。根據(jù)奕信通科技測算,風冷、冷板式液冷、浸沒式液冷的土建部分Capex分別為5000元/ITkW,3000元/ITkW和3500元/ITkW左右。

外電和能評部分主要包括獲取外電資源,通過能評驗收所需付出的成本。與風冷相比,液冷方案的PUE更低更節(jié)能,獲取外電資源,通過能評驗收的難度相對會小很多。根據(jù)奕信通科技測算,風冷、冷板式液冷、浸沒式液冷的外電和能評部分Capex分別為4000元/ITkW,2000元/ITkW和2000元/ITkW左右。

64018.png

Opex中占比*高的是電力成本,液冷技術可以有效降低電力成本。數(shù)據(jù)中心的Opex主要包括電力成本、固定資產(chǎn)折舊、房租、人工費等等,其中電力成本占比*高,達到56.7%(風冷情況下)。

64019.png

浸沒式液冷方案的Opex*具優(yōu)勢。根據(jù)奕信通科技測算,風冷方案的Opex為9360-9720元/ITkw/年左右,冷板式液冷方案的Opex為8040-8400元/ITkw/年左右,浸沒式液冷方案的Opex是7800-8160元/ITkw/年左右。

64020.png

現(xiàn)階段選擇冷板式液冷的初始TCO已經(jīng)低于風冷,浸沒式液冷的TCO將在5-6年之后低于風冷。我們根據(jù)以上測算結果進行10年期的TCO測算,那么風冷的Capex和Opex分別為26000元/ITkW和9540元/ITkW/年,冷板式液冷的Capex和Opex分別為21000元/ITkW和8220元/ITkW/年,浸沒式液冷的Capex和Opex分別為31000元/ITkW和7980元/ITkW/年。根據(jù)TCO測算,現(xiàn)階段冷板式液冷方案的TCO從開始就已經(jīng)低于風冷方案,浸沒式液冷方案也將在5年左右之后出現(xiàn)TCO低于風冷方案的拐點。

64021.png

3.4 液冷技術能夠有效延長服務器使用壽命,實現(xiàn)降本增效

傳統(tǒng)電子設備普遍采用空氣冷卻方式,溫度是電子設備產(chǎn)生故障的主要原因之一。環(huán)境的多樣性包括溫度、濕度、振動、灰塵等多個方面,在導致電子設備失效的因素中溫度占了55%,過熱是電子設備產(chǎn)生故障的主要誘因。隨著溫度的增加,電子、原子、分子的運動速度加快,使得電子設備的性能發(fā)生變化,當達到一定階段時,就會引起嚴重的故障。在高于一般室內(nèi)環(huán)境溫度(約20°C~25°C)范圍內(nèi)條件下,故障率大致按指數(shù)規(guī)律隨溫度的升高而增加。同時,濕度、振動、灰塵等因素同樣會對電子設備的工作性能和使用壽命產(chǎn)生負面影響。

64022.png

液冷能夠有效降低服務器部件故障率,延長使用壽命。液體具有比空氣更大的比熱容,散熱能力更強,使得服務器溫度更加穩(wěn)定,CPU和GPU計算部件可以長時間穩(wěn)定工作在高性能頻率狀態(tài)。此外,浸沒式液冷將IT設備浸入封閉的液體環(huán)境中,與空氣完全隔離,并且不再需要高速風扇進行散熱,消除了空氣濕度、風扇振動以及灰塵帶來的可靠性影響,從而優(yōu)化了服務器的運行環(huán)境,延長了設備的使用壽命。根據(jù)阿里云的實驗數(shù)據(jù),與風冷服務器相比,液冷服務器整體部件故障率下降約53%,其中電源、網(wǎng)卡、風扇、網(wǎng)線等部件的故障率下降超過80%。隨著單服務器價值量以及數(shù)據(jù)中心運營成本的與日俱增,服務器的可靠性與使用壽命顯得尤為重要,液冷帶來的附加經(jīng)濟價值有望逐步顯現(xiàn)。

64023.png

3.5 解耦交付模式成為未來發(fā)展趨勢,助力液冷產(chǎn)業(yè)規(guī)范化發(fā)展

目前冷板式液冷方案的交付模式可以分為兩類,包括一體化交付與解耦交付兩種。一體化交付是指液冷機柜的所有部分,包括機柜和服務器等,都按照廠商自行設定的標準進行集成設計開發(fā),然后再作為一個整體進行交付。而解耦交付則要求液冷機柜與液冷服務器之間遵循用戶預先制定的通用接口設計規(guī)范,機柜與服務器可以分別由不同廠商負責生產(chǎn)和交付。

64024.png

6401.png

解耦交付模式為大勢所趨,助推冷板式液冷產(chǎn)業(yè)規(guī)范化發(fā)展。服務器與機柜解耦更有利于形成統(tǒng)一的技術標準及規(guī)范,能夠促進行業(yè)競爭與技術推廣,讓更多廠商能夠參與液冷行業(yè),實現(xiàn)多廠家適配,也便于后續(xù)靈活部署,使得客戶可以根據(jù)實際需求選擇不同的服務器和機柜組合,不會受限于某一個供應商。目前華為、超聚變等液冷廠商已經(jīng)實現(xiàn)了盲插快接,中國移動也已經(jīng)著手研發(fā)新型機柜,并計劃在完成測試后開源,推動更多的服務器和機柜廠商參與到盲插解耦液冷技術的研發(fā)與驗證中,推動技術成熟與規(guī)范化。

64025.png

4 數(shù)據(jù)中心液冷未來市場規(guī)模估算

根據(jù)估算,到2025年,中國數(shù)據(jù)中心液冷市場規(guī)模將達到359億元左右,CAGR達到72.4%;AI數(shù)據(jù)中心液冷市場規(guī)模將達到280億元左右,CAGR達到71.4%;通用數(shù)據(jù)中心液冷市場規(guī)模將達到79億元,CAGR達到76.2%。核心假設如下:

1)假設通用服務器的平均功率為0.7kW。以超聚變FusionServer 2288 V7(2U)作為通用服務器的代表型號,在超聚變服務器功耗計算器中測算得出其滿載功率約為0.7kW。

2)假設AI服務器的平均功率為3.8kW,其中AI訓練服務器平均功率為8kW,AI推理服務器為2kW。根據(jù)產(chǎn)業(yè)調研數(shù)據(jù),假設AI服務器中訓練與推理的數(shù)量關系約為3:7,訓練服務器中H系列和A系列所占比例約為4:6,推理服務器均為T4系列。以超聚變FusionServer G5500 V6作為AI訓練服務器的代表型號,超聚變FusionServer G8600 V7作為AI推理服務器的代表型號,根據(jù)超聚變服務器功耗計算器,H系列訓練服務器滿載功率約為10kW,A系列訓練服務器滿載功率約為6.8kW,T4系列推理服務器的功率約為2KW。結合以上數(shù)量比例關系,可以估算出AI服務器平均功率約為3.8kW。

3)假設通用服務器平均功率每年提升10%,AI訓練與推理服務器平均功率未來三年提升30%/20%/15%。根據(jù)近幾年CPU/GPU TDP的變化趨勢,CPU TDP每年提升10%左右,GPU TDP每年提升20%左右,我們假設通用服務器平均功率未來三年保持10%左右的增速,AI訓練與推理服務器平均功率未來三年的增速為30%/20%/15%。

4)至2025年,假設通用服務器液冷滲透率由5%提升到20%,AI訓練服務器液冷滲透率由70%提升到100%,AI推理服務器液冷滲透率由40%提升至70%。根據(jù)產(chǎn)業(yè)調研與曙光數(shù)創(chuàng)的信息,2022年我國液冷滲透率為5%-8%左右,預計2025-2028年時液冷滲透率能達到30%左右。我們假設通用服務器2022年液冷滲透率為5%,至2025年液冷滲透率上升至20%;AI訓練服務器2022年液冷滲透率為70%,至2025年液冷滲透率上升至100%;AI推理服務器2022年液冷滲透率為40%,至2025年液冷滲透率上升至70%;整體液冷滲透率由2022年的8%上升至2025年的25.7%。

5)至2025年,假設浸沒式液冷滲透率由10%提升至30%,冷板式液冷滲透率由90%降低至70%。根據(jù)IDC《中國半年度液冷服務器市場(2023上半年)跟蹤》報告,按照服務器出貨量口徑統(tǒng)計,2023H1我國冷板式液冷服務器比例為90%左右,浸沒式液冷滲透率僅為10%。隨著未來浸沒式液冷技術逐漸成熟進入加速推廣期,我們預計浸沒式液冷的滲透率由2022年的10%上升至2025年的30%,冷板式液冷的滲透率由2022年的90%下降至70%。

6)考慮到大部分數(shù)據(jù)中心液冷廠商的產(chǎn)品只覆蓋數(shù)據(jù)中心液冷基礎設施中的制冷系統(tǒng)、機柜系統(tǒng)等核心部分,故估算數(shù)據(jù)中心液冷市場規(guī)模時只考慮數(shù)據(jù)中心液冷基礎設施中制冷系統(tǒng)、機柜系統(tǒng)等核心部分的市場規(guī)模,不考慮布線系統(tǒng)、土建、外電、能評等其他配套部分。結合產(chǎn)業(yè)調研數(shù)據(jù),假設冷板式液冷基礎設施的價值量約為10000元/ITkW,浸沒式液冷基礎設施的價值量約為15000元/ITkW。

7)考慮到未來數(shù)據(jù)中心液冷市場競爭逐步加劇以及技術逐漸成熟,液冷方案價格將呈逐年下降的趨勢;冷板式液冷技術目前更為成熟,未來價格的下降空間相對較小。我們假設冷板式液冷價值量逐年下降5%,浸沒式液冷價值量逐年下降10%。

64026.png



[聲明]文章系本網(wǎng)編輯轉載,轉載目的在于傳遞更多行業(yè)新聞信息,文章僅作交流學習使用,也并不代表本網(wǎng)贊同其觀點和對其真實性負責。如涉及作品內(nèi)容、版權和其它問題,請在30日內(nèi)與本網(wǎng)聯(lián)系,我們將在**時間刪除內(nèi)容!

本站文章版權歸原作者所有 內(nèi)容為作者個人觀點 本站只提供參考并不構成任何投資及應用建議。本站擁有對此聲明的*終解釋權。



欧美亚洲国产片在线播放| 麻豆日产精品卡2卡3卡4卡5卡| 亚洲av综合av一区二区三区| 凸凹人妻人人澡人人添| 国产乱码1卡二卡3卡四卡5| 草草影院精品一区二区三区| 狠狠躁夜夜躁人人爽超碰97香蕉| 69国产成人精品午夜福中文 | 欧美人与zoxxxx视频| 四虎影视影院免费观看| 国产啪亚洲国产精品无码| 亚洲国产精品无码久久98| 激情综合婷婷色五月蜜桃| 国产超碰AV人人做人人爽 | 国产亚洲精品精华液| 性高朝久久久久久久3小时| 囗交口爆国产在线视频| 欧美成人看片一区二区三区尤物| 国产乱子伦精品无码码专区| 精品一区二区三区无码视频| 无码国产成人午夜视频在线播放| 美女隐私无遮挡免费视频软件| 久久五月丁香中文字幕| 乱子伦一区二区三区| 国产精品白丝喷水在线观看| 成人欧美日韩一区二区三区| 性色av无码不卡中文字幕| 无码中文人妻在线一区二区三区| 亚洲精品V天堂中文字幕| 久久国产自偷自偷免费一区调| 日韩av激情在线观看| 日韩视频 中文字幕 视频一区| 性欧美xxxx| 亚洲日韩性欧美中文字幕| 欧洲成人一区二区三区| 精品无码成人网站久久久久久无码 | 久久精品一本到99热免费| 亚洲成av人在线视| 国产精品va在线播放我和闺蜜| 亚洲VA中文字幕无码久久| 97色偷偷色噜噜狠狠爱网站97|